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Какой СІ/СО нам нужен? 


ө Чтобы работало 
ә Быстро 
о Надежно 
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Какой CI/CD нам нужен? 


ө Чтобы работало 
ә Быстро 
о Надежно 


© Дешево 


ө Чтобы работало 
© Не было финансовых потерь во время и после деплоя 
о Аесли и были, то маленькие 


© И мы быстро их пресекли 


4 HighLoad+ 
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Deployment 


Для критичных сервисов вводим понятие “линии” 
Катим новый код на офлайн-линию 

Как-то проверяем 

Если все нормально, переливаем трафик на линию 
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Канареечные релизы 


ө Трафик на офлайн-линию с новым 
кодом пускаем маленькими 
порциями: 2%, 5%, 20% ... 100% 
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© Индивидуально (сервисы очень разные) 


ВМ 


28 


А как проверять? 


© Индивидуально (сервисы очень разные) 


© Подробный письменный регламент проверки при деплое 
(обязательно) 


29 


А как проверять? 


© Индивидуально (сервисы очень разные) 


е Подробный письменный регламент проверки при деплое 
(обязательно) 


© Смотрит человек (опытный инженер отдела мониторинга) 


30 


А как проверять? 


© Индивидуально (сервисы очень разные) 


е Подробный письменный регламент проверки при деплое 
(обязательно) 


© Смотрит человек (опытный инженер отдела мониторинга) 


© Используем: Кірапа, бгаҒапа, Zabbix, руки и светлую голову © 


ВМ 


31 


А как проверять? 


© Индивидуально (сервисы очень разные) 


е Подробный письменный регламент проверки при деплое 
(обязательно) 


© Смотрит человек (опытный инженер отдела мониторинга) 
© Используем: Кібапа, бгаҒапа, Zabbix, руки и светлую голову © 


е Помимо пунктов из регламента, рассматриваются аномалии в 
графиках/мониторах/дашбордах 


32 


А как проверять? 


© Индивидуально (сервисы очень разные) 


е Подробный письменный регламент проверки при деплое 
(обязательно) 


© Смотрит человек (опытный инженер отдела мониторинга) 
© Используем: Капа, бгаҒапа, Zabbix, руки и светлую голову © 


е Помимо пунктов из регламента, рассматриваются аномалии в 
графиках/мониторах/дашбордах 


о Всегда есть бизнес-проверки и бизнес-метрики 


33 


А как проверять? 


© Индивидуально (сервисы очень разные) 


е Подробный письменный регламент проверки при деплое 
(обязательно) 


© Смотрит человек (опытный инженер отдела мониторинга) 
© Используем: Капа, бгаҒапа, Zabbix, руки и светлую голову © 


е Помимо пунктов из регламента, рассматриваются аномалии в 
графиках/мониторах/дашбордах 


© Всегда есть бизнес-проверки и бизнес-метрики 


© Проверяется каждый шаг деплоя 


34 


А как проверять? 


© Индивидуально (сервисы очень разные) 


е Подробный письменный регламент проверки при деплое 
(обязательно) 


© Смотрит человек (опытный инженер отдела мониторинга) 
© Используем: Капа, бгаҒапа, Zabbix, руки и светлую голову © 


е Помимо пунктов из регламента, рассматриваются аномалии в 
графиках/мониторах/дашбордах 


© Всегда есть бизнес-проверки и бизнес-метрики 
© Проверяется каждый шаг деплоя 


© При малейших подозрениях на проблемы - максимально 
быстрый откат (в случае с Бие/дгееп — это секунды) 


35 


Инструменты деплоя 
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Ау/х (Ansible) -> 49 job templates 
Jenkins (Groovy) -> 41 jobs 


Fabric (Python) -> 5 scripts 
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Что еще автоматизировать? 
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Как автоматизировать? 


© Blizzard Entertainment 
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Time 


10:00 - 


10:30 - 


11:00 - 


#108 CORE © 


add deploy 


Jira Release 


HOST/versions/22890 


АЖ- 


Lurker 
Fri, 7 Мау 2021 Date~ 


Release Notes 
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Owner 


Fred 


ОА сами подают 
заявку на 
продовый деплой 


Расписание 
ведется прямо в 
Lurker 


SRE только 
присматривают 


Деплои 
запускаются 
автоматически 


Анализ и откат 
“в случае чего” — 
автоматически 
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Schedule 


Heart beat 


Deploys 
2) Business Logs 
О Archive 
Components 


9), Users 


} Manage 
ACTIVE DEPLOY 

е RCS: гс501.пїЗ/оййпе v 
Pý RCS: res01.nl3/frodo V 
Є RCS: res01.nl3/awx v 


б RCS: гс501.піЗ/айт v 


| CORE (01 піз 


Heart beat 


DASH te01.nl3 | PP te01.nl3 


RCS гсз01.п13 


RCS n 


ШЕЙ RCS гс503.113 


© 


Мониторим 


0%--- < = + 
07:00 07:01 07:02 07:03 07:04 07:05 


Total errors іп кірапа 


| 11 Errors 


1 HighLoad+ 
HOSES 


є Мониторим 


© Смотрим за деплоем 


а = Schedule i 
8 ви Business Logs 


Heart beat 
Auto refresh 


© со © Deploys 


о, us B Business Logs Job log 
3 ма ( Archive 10:14:33 MSK] Job#301 RCS >rcs01.nl3 Pre deploy check is successful (I) Е 
10:14:34 MSK] Job#301 RCS >гс$01.п13 Jenkins previous successful build is, Line: 11, Тад: lurker-5.92 (І) 
Components 10:14:34 MSK] Job#301 RCS >гс$01.п13 No lines for job (I) 
10:14:39 MSK] Job#301 RCS >rcs01.nl3 Job was runned (2021.04.29) (D) 
нс 2) Users 10:14:39 MSK] 2004301 RCS >гс501.п13 Jenkins build was started, Job: /job/rcs01.nl3/job/adm/, Тад: гс-5.93, Line: 11 (D) 
вс $ Manage 10:17:14 MSK] Job#301 RCS >гсѕ01.п13 (1) All traffic оп пем code. Check start immediately (D) 
2 10:17:14 MSK] Job#301 RCS >гсѕ01.п13 (1) Checking... (D) 
“вс 10:17:15 MSK] 20301 RCS >гс$01.п13 (1) Alright. RcsChecks->errorsFull: is ОК (D) 
ACTIVE DEPLOY 10:17:15 MSK] Job#301 RCS >rcs01.nl3 (1) Waiting. RcsChecks->frontTest: waiting until 600 seconds (D) 


10:17:15 MSK] Job#301 RCS >rcs01.nl3 (1) Skip. RcsChecks->grafanaTriggers: without check (0) 


еў RCS: гс501.п\З/оййпе v р 4 
10:17:25 MSK] 204301 RCS >гс$01.п13 (1) Alright. RcsChecks->errorsFull: is ОК (D) 


ер RCS: rcs01.nl3/frodo v 10:17:25 MSK] Job#301 RCS >rcs01.nl3 (1) Waiting. RcsChecks->frontTest: waiting until 600 seconds (0) 
10:17:25 MSK] Job#301 RCS >rcs01.nl3 (1) Skip. RcsChecks->grafanaTriggers: without check (D) 
е RCS: гсѕ01.піЗ/амух v 10:17:35 MSK] Job#301 RCS >гс$01.п13 (1) Alright. RcsChecks->errorsFull: is ОК (0) 
10:17:35 MSK] Job#301 RCS >rcs01.nl3 (1) Waiting. RcsChecks->frontTest: waiting until 600 seconds (0) 
еў RCS: гсѕ01.ліз/айт v 10:17:35 MSK] Job#301 RCS >гс$01.п13 (1) Skip. RcsChecks->grafanaTriggers: without check (0) 


10:17:45 MSK] Job#301 RCS >rcs01.nl3 (1) Alright. RcsChecks->errorsFull: 1$ ОК (0) 

10:17:45 MSK] Job#301 RCS >гс$01.п13 (1) Waiting. RcsChecks->frontTest: waiting until 600 seconds (0) 
10:17:46 MSK] Job#301 RCS >гс$01.п13 (1) Skip. RcsChecks->grafanaTriggers: without check (0) 
10:17:56 MSK] Job#301 RCS >rcs01.nl3 (1) Alright. RcsChecks->errorsFull: 1$ ОК (0) 

10:17:56 MSK] Job#301 RCS >гс$01.п13 (1) Waiting. RcsChecks->frontTest: waiting until 600 seconds (0) 
10:17:56 MSK] Job#301 RCS >rcs01.nl3 (1) Skip. RcsChecks->grafanaTriggers: without check (D) 
10:18:06 MSK] Job#301 RCS >rcs01.nl3 (1) Alright. ВсѕСһескѕ->еггогѕЕи11; 1$ ОК (0) 

10:18:06 MSK] Job#301 RCS >гсѕ01.п13 (1) Waiting. RcsChecks->frontTest: waiting until 600 seconds (0) 
10:18:06 MSK] Job#301 RCS >rcs01.nl3 (1) Skip. RcsChecks->grafanaTriggers: without check (D) 
10:18:16 MSK] Job#301 RCS >rcs01.nl3 (1) Alright. RcsChecks->errorsFull: is ОК (D) 

10:18:16 MSK] Job#301 RCS >гс501.п13 (1) Alright. RcsChecks->frontTest: 1$ ОК (D) 

10:18:16 MSK] Job#301 RCS >rcs01.nl3 (1) Skip. RcsChecks->grafanaTriggers: without check (D) 
10:18:16 MSK] Job#301 RCS >гс501.п13 (1) End of check step: Alright (D) 

10:18:16 MSK] Job#301 RCS >гс501.п13 (1) Job was successful (0) 

10:18:16 MSK] Global Try to run next scheduled job 

10:18:16 MSK] Global No jobs in active deploy for run 
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унс әм Ч Archive 
RC 
£ = Сотропепіѕ 
ACTIV 
өн 4 
ғұн 2, Users 


“В Мападе 
ACTIVE DEPLOY 
е RCS: гсѕ01.піЗ/ойіпе v 
ер RCS: rcs01.nl3/frodo v 
е RCS: rcs01.nl3/awx v 


е RCS: гсѕ01.піЗ/айт v 


61 


Deploy #97 RCS: Thu, 29 Apr 2021, 14:00 MSK 


Job type 

еў RCS: гс$01.зюНте v 
еў RCS: гс$01.пИЗИтоЧо v 
2 RCS: гсѕ01.піЗ/амух v 


2 RCS: res0L.nl3ladm v 


Add job 
Component 


RCS 


Job template 


гсѕ01.піЗ/айт 


Тад 


Тад 


Line 


L1 


Add таппа! actian 


Params Actions 

tag: rc-5.18, line: L1 © 202] 
tag: гс-5.76, line: auto [>] _®. в. 
line: auto [>] КО с] 
tag: гс-5.93, line: L1 © йа 


„ 


„ 


o 


Мониторим 


Смотрим за деплоем 


Управляем... 


Deploy details 


Component 


RCS 


Date (current: 2021-04-29 14:00 +03:00) 


Release Jira url 


444 


Release notes 


Release notes 


Deploy notes 


Actions 


ні) HighLoad= 


Весна2021 
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Что еще важно? 


\\ Витязь на распутье \\ Виктор Васнецов 


1 HighLoad 
(ні) Немое 
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Что еще важно? 


© Zero Tolerance к ошибкам уровней ЕВВОВ+ (перманентный процесс) — очень 
помогает мониторить деплои 


\\ Витязь на распутье \\ Виктор Васнецов 


1 HighLoad 
(ні) Немое 
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Что еще важно? 


© Zero Tolerance к ошибкам уровней ЕВВОВ+ (перманентный процесс) — очень 
помогает мониторить деплои 


© Тестирование совместимости разных версий сервисов силами ОА 


\\ Витязь на распутье \\ Виктор Васнецов 


1 HighLoad 
(ні) Немое 
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Что еще важно? 


© Zero Tolerance к ошибкам уровней ЕВВОВ+ (перманентный процесс) — очень 
помогает мониторить деплои 


© Тестирование совместимости разных версий сервисов силами ОА 


© Линий для DBMS - нет 


\\ Витязь на распутье \\ Виктор Васнецов 


1 HighLoad 
(ні) Немое 
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Что еще важно? 


© Zero Tolerance к ошибкам уровней ЕВВОВ+ (перманентный процесс) — очень 
помогает мониторить деплои 


© Тестирование совместимости разных версий сервисов силами ОА 
© Линий для DBMS – нет 


ө Базы не откатываются 


\\ Витязь на распутье \\ Виктор Васнецов 


1 HighLoad 
(ні) Немое 
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Что еще важно? 


© Zero Tolerance к ошибкам уровней ЕВВОВ+ (перманентный процесс) — очень 
помогает мониторить деплои 


© Тестирование совместимости разных версий сервисов силами ОА 
© Линий для DBMS – нет 


ө Базы не откатываются 


© Обратная совместимость 
гарантируется 
приложением, 
проверяется ОА 


\\ Витязь на распутье \\ Виктор Васнецов 


1 HighLoad 
(ні) Немое 
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Что еще важно? 


© Zero Tolerance к ошибкам уровней ЕВВОВ+ (перманентный процесс) — очень 
помогает мониторить деплои 


© Тестирование совместимости разных версий сервисов силами ОА 
е Линий для DBMS – нет 


ө Базы не откатываются 


© Обратная совместимость 
гарантируется 
приложением, 
проверяется ОА 


© Не боимся УХ 


\\ Витязь на распутье \\ Виктор Васнецов 


1 HighLoad 
(ні) Немое 
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Оеуор$'ы на конференции: 

- как сделать, чтобы релизить быстро и качественно? 
- могу рассказать 

- рассказать я и сам могу, а как сделать то? 
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Оеуор$'ы на конференции: 

- как сделать, чтобы релизить быстро и качественно? 
- могу рассказать 

- рассказать я и сам могу, а как сделать то? 


Фёдор 


в сети 


телега: @їгеа_тѕК 
f.vasiliev@it.ecommpay.com 
fedor.vasiliev@gmail.com 


Спасибо за Внимание! 


